SageMaker NeoでコンパイルしたモデルをラズパイにGreenGrassを使ってデプロイして推論処理パフォーマンスを計測した:Amazon SageMaker Advent Calendar 2018

●チュートリアルに用意されている「sysnet.txt」について

「分類結果が何か」ということがわかるテキストファイルです。
今回のチュートリアルでは、このファイルを追加で用意しています。

{0: 'tench, Tinca tinca',
 1: 'goldfish, Carassius auratus',
 2: 'great white shark, white shark, man-eater, man-eating shark, Carcharodon carcharias',
 3: 'tiger shark, Galeocerdo cuvieri',
以下略

推論コード中では、下記のように利用しています。

synset_path = os.path.join(model_resource_path, 'synset.txt') # sysnetファイルを読み込み
prediction_scores = dlr_model.run({'data' : flattened_data}).squeeze() # 推論処理（この時はまだ結果を「1」とか「27」とかで持っている）
max_score_id = np.argmax(prediction_scores) # もっとも推論スコアが高いクラスIDを取得
predicted_class = synset[max_score_id] # 上記のクラスIDから、「分類結果」を取得

●チュートリアルで使われていない「model-shapes.json」について

こちらはINPUTデータの定義を指定するjsonファイルです。
例えば、下記のような内容です。
(今回利用するモデルはMXNetの物なので、inputデータのshape(NCHW format)と名前を書いてます)

[{"shape": [1, 3, 224, 224], "name": "data"}]

コンソール画面上からモデルをコンパイルした場合は、下記の部分に入れた値がこのファイルに記述されます。

詳細についてはInputConfigをご参照ください。

この定義について、今回実施するチュートリアルでは推論用スクリプト上で下記のような記述を追加することで対応しています。

input_shape = {'data': [1, 3, 224, 224]}

4.環境構築

基本的に「How to Configure Optimized Machine Learning Inference Using the AWS Management Console」の通りに作業を進めていきます。
また、ラズパイ上での操作については、手元のPCからSSH接続して実行するのが簡単です。
以下、簡単に各手順の概要について整理します。

4-1.ラズパイ上でGreenGrassを使うための設定

基本的に、こちらの手順に沿って処理を進めていきます。

手順についてはドキュメントにある通りです。
ただ、ドキュメントでは「greengrass-dependency-checker-GGCv1.5.0」とあるのですが、今回は「greengrass-dependency-checker-GGCv1.7.0」を使う点にご注意ください。

また、本ステップ最後の確認作業で、「Node v6.10」、「Java 8」が無いと警告が出るかもしれませんが、今回のチュートリアルに限っては無視できます。

Important
This tutorial uses the AWS IoT Device SDK for Python. The check_ggc_dependencies script might produce warnings about the missing optional Node v6.10 and Java 8 prerequisites. You can ignore these warnings.

引用:Module 1: Environment Setup for Greengrass

4-2.「AWS IoT Greengrass」の設定

基本的にはこちらの通りに作業していけばOKです。

ただ、「証明書」については少し躓きましたので記述しておきます。
ここでは、X.509 証明書と AWS IoTから「RSA 2048 ビットキー: Amazon ルート CA 1」をダウンロードし、これをラズパイに転送した上で「root.ca.pem」とファイル名を変更しました。

4-3.ラズパイ上の環境構築

ラズパイのパッケージ更新・カメラモジュールを使えるようにする、といった設定をします。 ここも基本的にはドキュメントの通りに進めていきます。

4-4.「Amazon SageMaker Neo deep learning runtime」をラズパイにインストール

ラズパイ上で、「SageMaker Neo」でコンパイルしたモデルを動かすために「Amazon SageMaker Neo deep learning runtime」パッケージをインストールします。
基本はドキュメントの通りですが、少しだけ手順を記述します。

これをクリックして、

ラズパイ用のパッケージをダウンロードします。

あとはドキュメントの通りにラズパイ上にこのパッケージを展開し、下記のような表示が出れば完了です。

$ sudo ./install-dlr.sh
Testing dlr using python...
All tests PASSED!

dlr was installed successfully!

4-5.Lambda関数を作成

推論処理のためのLambda関数を作成します。この作業はラズパイ上ではなく手元の端末PCで実行します。
この作業もドキュメントの通りに進めます。

先ほどダウンロードしてきたファイルを解凍すると、中に「inference.py」というファイルがありますが、これが実際に推論処理に用いられる内容です。
ちなみに、下記の部分が推論処理をしている部分です。

prediction_scores = dlr_model.run({'data' : flattened_data}).squeeze()

・inference.py

#
# Copyright 2010-2018 Amazon.com, Inc. or its affiliates. All Rights Reserved.
#
# Greengrass lambda function to perform Image Classification with example model
# Resnet-50 that was compiled by DLC.
#
#
import logging
import os

from dlr import DLRModel
from PIL import Image
import numpy as np

import greengrasssdk
import camera
import utils

# Create MQTT client
mqtt_client = greengrasssdk.client('iot-data')

# Initialize logger
customer_logger = logging.getLogger(__name__)

# Initialize example Resnet-50 model
model_resource_path = os.environ.get('MODEL_PATH', '/ml_model')
input_shape = {'data': [1, 3, 224, 224]}
output_shape = [1, 1000]
dlr_model = DLRModel(model_resource_path, input_shape, output_shape, 'cpu')

# Read synset file
synset_path = os.path.join(model_resource_path, 'synset.txt')
with open(synset_path, 'r') as f:
    synset = eval(f.read())


def predict(image_data):
    r"""
    Predict image with DLR. The result will be published
    to MQTT topic '/resnet-50/predictions'.

    :param image: numpy array of the Image inference with.
    """
    flattened_data = image_data.astype(np.float32).flatten()

    prediction_scores = dlr_model.run({'data' : flattened_data}).squeeze()
    max_score_id = np.argmax(prediction_scores)
    max_score = np.max(prediction_scores)

    # Prepare result
    predicted_class = synset[max_score_id]
    result = 'Inference result: "{}" with probability {}.'.format(predicted_class, max_score)

    # Send result
    send_mqtt_message(
        'Prediction Result: {}'.format(result))

def predict_from_cam():
    r"""
    Predict with the photo taken from your pi camera.
    """
    send_mqtt_message("Taking a photo...")
    my_camera = camera.Camera()
    image = Image.open(my_camera.capture_image())
    image_data = utils.transform_image(image)

    send_mqtt_message("Start predicting...")
    predict(image_data)


def send_mqtt_message(message):
    r"""
    Publish message to the MQTT topic:
    '/resnet-50/predictions'.

    :param message: message to publish
    """
    mqtt_client.publish(topic='/resnet-50/predictions',
                        payload=message)


# The lambda to be invoked in Greengrass
def handler(event, context):
    try:
        predict_from_cam()
    except Exception as e:
        customer_logger.exception(e)
        send_mqtt_message(
            'Exception occurred during prediction. Please check logs for troubleshooting: /greengrass/ggc/var/log.')

今回のために新規にグループを作成して、このグループにLambdaをデプロイします。

Gitにも書いてある通りですが、こんな感じですね。
IAMロールは必要に応じては新規作成する等の対応をしてください。

無事、Lambda関数がアップロードできたことを、コンソール画面上からも確認しておきます。

4-6.Lambda関数をGreenGrassグループに紐付ける

先ほど作成したLambda関数を、GreenGrassグループに紐付けます。
まずは、GreenGrassの「グループ」から「Lambda」、「Lambdaの追加」とクリックし、

「既存のLambdaの使用」をクリックします。

先ほど作成したLambda関数を選択し「次へ」をクリックします。

先ほど指定した「エイリアス」を指定して、「完了」をクリックします。

続いて、推論処理にかかる負荷に耐えられるように、Lambda関数のconfigを編集します。
GreenGrassのコンソール画面上から、今回利用するLambda関数をクリックし、

「編集」をクリックします。

こちらに記載の通りの値を入れます。
基本的には上記のドキュメントに書いてある通りですが、一応実際の画面の画像を添付しておきます。
四角で囲ってある部分が、今回修正した箇所です。

4-7.GreenGrassグループに「SageMaker　Neo」で最適化したモデルを紐付ける

モデルをGreenGrassグループに紐付けるために、まずGreenGrassの「グループ」から「リソース」、「Machine Learning」、「機械学習リソースの追加」とクリックしていきます。

チュートリアルで用意されているファイルをアップロードする場合はこのような形になります。

また、ここで利用するS3バケット名には「greengrass」を含めた文字列にする、「.」を使わない、といった制約があるそうなのでご注意ください。

Note
Your bucket name must contain the string greengrass in order for the bucket to be accessible. Choose a unique name (such as greengrass-dlr-bucket-user-id-epoch-time). Don't use a period (.) in the bucket name.

引用:How to Configure Optimized Machine Learning Inference Using the AWS Management Console

4-8.GreenGrassグループにラズパイのリソースを紐づける

続いて、今回使うラズパイをGreenGrassグループに紐付けます。
対象のグループを選択した後、「リソース」、「ローカル」、「ローカルリソースの追加」をクリックして進めていきます。

これは単純に、ドキュメントの通りに進めました。

Step 6: Add Your Camera Device Resource to the Greengrass Group

4-9.GreenGrassグループにサブスクリプションを紐づける

「サブスクリプション」から「サブスクリプションの追加」をクリックし、追加していきます。

手順についてはドキュメントの通りです。

4-10.GreenGrassグループをデプロイする

ここも例によってドキュメントの通りに進めますが、大まかに何をやっているのかについて説明しておきます。

• ラズパイの「daemon」を起動させた
• ラズパイを「AWS IoT」から自動検出させた後、GreenGrassグループに今まで紐づけてきたリソースをラズパイにデプロイ

デプロイの進行中...

デプロイ完了!

もしデプロイがうまくいかない場合はAWS IoT Greengrass のトラブルシューティングが参考になります。

5.テスト

デプロイが完了したので、早速テストしてみます。
手順はこちらの通りです。

トピックを指定して、「トピックに発行」をクリックします。

ラズパイの前に私のノートPCがある状態なのですが、検出できているようです。

6.推論時間の検証

やっとこさデプロイできたので、今回デプロイした「ResNet-50」モデルでの「推論」にかかる時間を100回計測してみました。
下記に主要な値を記述しておきます。
(単位は一回の推論にかかった秒数)

・チュートリアルのモデル

平均:0.98274936676
第1四分位点:0.978071212768
中央値:0.98380148
第3四分位点:0.987836420536
分散:0.000219083612006
標準偏差:0.0148014733052
最大値:1.07441711426
最小値:0.959302186966

かなり処理時間は安定しており、だいたい1秒程度で処理が完了するようでした。
一応、SageMakerのビルトインアルゴリズムから手動でコンパイルしたモデルでの計測結果も記述しておきます。
アルゴリズムも同じなので、ほとんど変わりません。

・自前で用意したモデル

平均:0.96550909757619974
第1四分位点:0.955839812756
中央値:0.959525108337
第3四分位点:0.978467702866
分散:0.00022636801939996537
標準偏差:0.015045531542619735
最大値:1.0539650917100001
最小値:0.94228982925399996

7.まとめ

「SageMaker Neo」で最適化したResNet(50層)なら、「ラズパイ3B+」上で1秒程度で実行できることが確認できました。
また、SageMakerのビルトインアルゴリズムでもほぼほぼ同様の手順でデプロイ＆実行できることも確認しました。
SageMaker推論用エンドポイント(ml.c5.xlarge)での計測結果と比較すると処理時間が随分と大きい（ResNet-50,ResNet-152という違いがあるにも関わらず）ですが、この辺りはラズパイ上での実行なのでしょうがないところかと思います。

かなり長くなってしまいましたが、本エントリーでの紹介内容は以上になります。
最後まで読んでくださりありがとうございました。